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Nutzeradaptive Dialogunterstutzung fur Sprachdialogsysteme 

Die Erfindung betrifft ein Verfahren zur nutzeradaptiven Dia- 
logunterstutzung bei Sprachdialogsystemen nach dem Oberbeg- 
5 riff des Patentanspruchs 1. 

Zur Bedienung komplexer technischer Einrichtungen, insbeson- 
dere von Assistenzsystemen bei Kraf tf ahrzeugen, werden zuneh- 
mend Sprachdialogsysteme (Spracherkennungssysteme) einge- 
10 setzt, da hierbei angenommen wird, dass eine rein sprachliche 
Interaktion den Bediener der technischen Einrichtung weniger 
von seiner primaren Bedienungsauf gabe ablenkt, als dies eine 
haptisch-visuelle Bedienung bedingen wurde. 

Bei Sprachdialogsystemen besteht jedoch generell das Problem, 
15 dass man mit dem System unterschiedlich erfahrene Nutzer 

sprachlich moglichst optimal bedienen muss; beispielsweise 
einen Anf anger, der mit dem System nicht vertraut ist, oder 
aber einen Experten, welcher das System in alien Einzelheiten 
und Finessen kennt und beherrscht . Entsprechend dieser unter- 
2 0 schiedlichen Vertrautheit mit dem System werden andere Anfor- 
derungen an die Bedienung des Sprachdialogsystems gestellt. 
Der Anf anger benotigt mehr Hilf estellung und Fuhrung durch 
das System, um dieses auf dem Wege des learning-by-doing ken- 
nen lernen zu konnen. Der Experte jedoch mochte eine mog- 
25 lichst schnelle und effektive Interaktion mit dem Sprachdia- 
logsystem. Daruber hinaus werden moderne Sprachdialogsysteme 
immer komplexer, da die Vielfalt der zu bedienenden Funktio- 
nen steigt . Dies impliziert, dass es in Zukunft nicht mehr 
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den Experten oder den Anf anger geben wird. Es wird Benutzer 
geben, die einen Teil der angebotenen Funktionalitaten haufig 
bedient und die in diesem Teil Experte sind, und es wird Be- 
nutzer geben, die sich wiederum nur in einem anderen Teil des 
5 Systems auskennen. 

Es existieren Sprachdialogsysteme bei welchen es dem System- 
nutzer moglich ist anzugeben, wie gut er mit dem System be- 
reits vertraut ist. Dement sprechend interagiert das Dialog- 
system mit dem Systemnutzer uber kurzere oder langere System- 

10 aufierungen (Sprachauf f orderungen) . Die Einstellen in Bezug 

auf den Vertrautheitsgrad sind jedoch durch den Systemnutzer 
aktiv einzugeben und die jeweiligen Einstellungen beziehen 
sich sodann auf den gesamten Dialog. Dies deckt somit nicht 
diejenigen Falle ab, bei denen ein Systemnutzer sich bei- 

15 spielsweise an sich recht gut mit dem Sprachdialogsystem aus- 
kennt, aber bei einem Dialogschritt vergessen hat, welche Au- 
Serung auf eine Sprachauf for derung durch das System erwartet 
wird, urn im Dialog sinnvoll voranzuschreiten. Hier hilft es 
dem Systemnutzer nicht, dass er die Moglichkeit hat die Sys- 

2 0 t erne ins t el lung in Beztig auf seinen Vertrautheitsgrad zu an- 

dem und hierdurch mitzuteilen, dass er mehr Unterstutzung 
durch das Sprachdialogsystem benotigt, da in den nachfolgen- 
den Dialogschritt en diese Unterstutzung wiederum nicht mehr 
benotigt wird. Problematisch ist hierbei zudem, dass durch 
25 die erf orderliche Eingabe des Vertrautheitsgrades die System- 
funktionalitat stark von der Selbsteinschatzung des Syst em- 
nut zers abhangt . 

Es ist deshalb wunschenswert , dass das Sprachdialogsystem im 
Fall, dass der Systemnutzer Schwierigkeiten bei der Eingabe 

3 0 der notwendigen Sprachaufierungen hat, automatisch Unterstut- 

zung anbietet . Ein derartiges System wird in der Offenle- 
gungsschrift US 2 0 02/01475 93 Al beschrieben. Hierbei ist das 
Sprachdialogsystem in der Lage zwei unterschiedlich detail - 
lierte Sprachauf forderung auszugeben, jeweils in Abhangigkeit 
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davon ob das System davon ausgeht ob es sich bei dem System- 
nut zer urn eirien unterstiitzungsbedurf tigen Anf anger oder urn 
einen versierten Experten handelt . Bei der Kommunikation mit 
einem Anfanger verwendet das Sprachdialogsystem Sprachauf for- 
derungen (Prompt) in der fur solche Systeme ublichen Detail- 
lierungsgrad, gibt also ausreichend Hinweise auf die Art und 
Weise der im Rahmen des Dialoges sinnvoller Weise erwarteten 
NutzerauSerung. Handelt es sich bei dem Systemnutzer um einen 
Experten, so wird nur eine verkurzte, optimierte Sprachauf - 
forderung („ tapered" Prompt) ausgegeben. In der Regel enthal- 
ten diese verkurzten Sprachauf forderungen keine oder nur sehr 
wendige erklarende oder unterstutzende Hinweise. Wahrend des 
Dialogverlaufes schatzt das Sprachdialogsystem kontinuierlich 
den Systemnutzer bezuglich seines Erf ahrungsgrades ein und 
gestaltet entsprechend seine Sprachauf forderungen. Da das 
System bei der Initiierung des Sprachdialoges nichts uber den 
Systemnutzer weis, werden zuerst Sprachauf forderungen mit dem 
ublichen Detaillierungsgrad. In denjenigen Fallen, in welchem 
im Laufe des Dialoges festgestellt wird, dass der Systemnut- 
zer uber eine gewisse Anzahl von aufeinander folgenden Dia- 
logschritten sinnvoll auf die Sprachf orderungen reagiert, 
wird davon ausgegangen, dass es sich hierbei um einen Exper- 
ten handelt, worauf die dieser Einschatzung nachf olgenden 
Sprachauf forderungen in Form eines Short -Prompts erfolgen. Da 
diese Einschatzung jedoch fehlerhaft sein kann, wird die Aus- 
gabe von Short-Prompts nur solange fortgesetzt, solange der 
Systemnutzer auch fehlerfrei und sinnvoll auf- diese reagiert. 
Reagiert der Systemnutzer auf die Short -Prompts mit AuSerun- 
gen, welche das Sprachdialogsystem nicht sinnvoll weiter ver- 
arbeiten kann/ geht dieses dazu uber bei der wiederholten An- 
frage und nachfolgend wieder Sprachauf forderungen mit dem ub- 
lichen Detaillierungsgrad zu generieren. Eine Rvickkehr zur 
Verwendung der Short - Prompts erfolgt erst wieder nachdem wie- 
derum bei einer gewissen Anzahl von aufeinander folgenden Di- 
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alogschritten sirmvoll auf die detaillierten Sprachauf f orde- 
rungen reagiert wurde. Dieses zuruckschalten den fur den un- 
erfahrenen Systemnutzer gedachten detaillierten Sprachauf for- 
derungen ist notwendig, da das Sprachdialogsystem einzig auf 
5 Grund der Art und Weise der AuSerung auf die Sprachauf for de- 
rung auf den Erf ahrungsgrad des Systemnutzers schlieSen kann. 
Problematisch ist hierbei, dass in den Fallen, in welchen ein 
Experte beispielsweise auf Grund einer Ablenkung eine Fehl- 
eingabe vornimmt, dieser nachfolgend wiederholt und unnotig 
10 detaillierte Sprachauf forderungen erhalt, durch welche er 
sich gestort fuhlen konnte. 

Aufgabe der Erfindung ist es deshalb, eine nutzeradaptive Di- 
alogfuhrung fur Sprachdialogsysteme zu finden, welche uner- 

15 fahrene und erfahrene Systemnutzer unterscheidet , und daran 
angepasste Sprachauf forderungen so generiert, dass auch in 
denjenigen Fallen, in jvelchen ein erfahrender Nutzer inner- 
halb eines Dialogschrittes fehlerhaft reagiert hat, er in den 
nachfolgenden Schritten, ohne-Nachteil fur unerfahrene Nut- 

2 0 zer, umgehend wieder wie ein erfahrener Nutzer behandelt 
wird- 

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des 
Patentanspruchs 1 gelost. Vorteilhafte Ausgestaltungen und 
Weiterbildungen der Erfindung sind durch die Unteranspruche 
2 5 beschrieben. 

Bei dem Verfahren fur eine nutzeradaptive Dialogfuhrung gibt 
ein Sprachdialogsystem eine Sprachauf for derung aus, wobei 
hierauf das Sprachdialogsystem auf eine AuSerung durch den 
30 Systemnutzer wartet. Hierbei wird, um die Nutzeraufierung zu 
verstehen, ein Spracherkenner aktiviert wird. Das Sprachdia- 
logsystem ist in der Lage unerfahrene und erfahrene Nutzer zu 
unterscheiden, wobei es unerfahrenen Nutzern eine detaillier- 
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te Sprachauf forderung ausgibt, wahrend bei erfahrenen Nutzem 
eine verkurzte Sprachauf forderung verwendet . In erfinderi- 
scher Weise wird dabei von Seiten des Sprachdialogsystems ein 
Dialogschritt mit einer verkurzten Sprachauf forderung (Ini- 
5 tierungs signal) initialisiert . Bei Ausbleiben einer Aufierung 
des Systemnutzer auf die verkurzte Sprachauf forderung wird 
sodann nach einer bestimmten Zeit ( Erkenner- Timeout ) eine de- 
taillierte Sprachauf forderung ausgegeben. In vorteilhaf ter 
Weise werden dem Systemnutzer also bei jedem Dialogschritt 

10 beide Arten von Sprachauf forderungen, eine verkurzte als auch 
eine detaillierte, zur Verfugung gestellt . . Dabei beginnt der 
Dialogschritt immer mit einer verkurzten Sprachauf forderung, 
so dass es dem erfahrenen Systemnutzer (Experte) also immer 
moglich ist die Initiative zu ergreifen; das heiSt, dass es 

15 diesem immer moglich ist uber die Art und Weise des Dialoges 
zu entscheiden. Dem erfahren Nutzer ist es somit immer Mog- 
lich in Bezug auf den Ablauf des Dialoges die Initiative zu 
ergreifen. Ist auch er' sich an einem Punkt des Sprachdialoges 
unsicher, welche Art oder Weise der Sprachaufierung das 

2 0 Sprachdialogsystem an dieser Stelle erwartet, kann er einfach 

den Zeitablauf des Erkenner -Timeouts abwarten und erhalt so- 
dann eine detaillierte Sprachauf forderung. Bei den nachfol- 
genden Schritten kann sich der erf ahrene Nutzer wieder gleich 
nach der verkurzten Sprachauf forderung aufiern und den Dialog 
25 hierdurch beschleunigen. 

In Bezug auf die Gestaltung der verkurzten Sprachauf forderung 
ist es beispielsweise denkbar, diese auf die notwendigste In- 
formation oder auf einzelne, die eigentliche Detailinf ormati- 
on besonders bezeichnende Stichworte zu beschranken. Ander- 

3 0 seits kann in besonderes vorteilhaf ter Weise eine Effizienz- 

steigerung in Bezug auf den Ablauf des Sprachdialoges ge- 
schaffen werden, wenn die verkurzte Sprachauf forderung einzig 
durch eine neutrale, keine spezifische Information enthalten- 
des Audio-Signal erf olgt ; beispielsweise vergleichbar mit der 
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Sprachauf forderung bei einem Telef onanrufbeantworter, bei 
welchem der Anrufer aufgefordert wird nach dem Signalton oder 
dem Piepston (,Beep*) zu sprechen. 

Die Effizienz des Verfahrens lasst sich weiter/ insbesondere 
5 in Bezug auf unerf ahrene Systemnutzer, dadurch steigern, dass 
in einer Speichereinheit protokolliert wird, wie haufig ein 
Systemnutzer sich erst auf die Ausgabe der detaillierten 
Sprachauf forderung hin auSert. AuSert sich ein Nutzer wieder- 
holt erst dann, das heiSt reagiert er nie oder selten bereits 

10 auf die verkurzte Sprachauf forderung , so ist dies ein Hinweis 
darauf , dass es sich bei diesem um einen unerfahrenen System 
nutzer handeln konnte . In diesem Falle kann in gewinnbringen- 
der Weise die Zeitspanne fur den Erkenner- Timeout , welcher 
den Zeitraum zwischen verkiirzter und detaillierter Sprachauf - 

15 forderung definiert, verkurzt werden. Eine sinnvolle Anzahl 

von fur eine Verkurzung des Erkenner- Timeouts notwendigen Wi- 
derholungen konnte auf^.die Anzahl 3 voreingestellt werden ; 
d.h. AuSert sich der Systemnutzer dreimal hint ere inander erst 
auf die detaillierte Sprachauf forderung so wird der Erkermer- 

20 Timeout verkurzt, beispielsweise halbiert . Hierdurch ware es 
auch einem unerfahrenen Systemnutzer moglich den Sprachdialog 
schneller zu Ziel zu fuhren. Es ist hierbei denkbar den Er- 
kenner-Timeout dann wieder auf die urspriingliche Zeitspanne 
zu setzen, wenn der Systemnutzer in einem der Dialogschritte 

25 bereits auf die verkurzte Sprachauf forderung hin reagiert; 
selbstverstandlich ist es auch hier moglich diese Falle zu 
protokollieren und den Erkenner-Timeout erst nach mehreren 
sukzessiven AuSerungen auf eine verkurzte Sprachauf forderung 
wieder auf den ursprunglichen Wert hin zuruckzusetzen. 

3 0 In besonderer Weise konnte die Anderung des Erkenner- Timeouts 
(Verkiirzung oder Verlangerung)'' auch derart gestaltet werden, 
dass diese sukzessive in mehreren Schritten erfolgt. So konn- 
te die Verkurzung oder nachtragliche Verlangerung des Erken- 
ner-Timeouts weniger abrupt erfolgen. Betragt die Anderung 
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fur jedes weitere Mai bei dem gleich wie das vorangegangene 
Mai reagiert wurde beispielsweise 10% der vorherigen Zeitdau- 
er der Erkenner- Timeouts, so wurde sich das System annahernd 
unmerklich an den Systemnutzer anpassen. Das bedeutet, dass 
5 fur jedes weitere Mai in dem der Systemnutzer sinnvoll erst 
auf die detail lierte Sprachauf f orderung reagiert e der Erken- 
ner-Timeout verkurzt wurde, und dass er fur jedes weitere Mai 
in welchem er in Folge bereits sinnvoll auf die verkiirzte 
Sprachauf f orderung hin antwortete der Erkenner-Timeout in 
10 Schritten wieder bis zum ursprunglichen Wert hin erhoht wur- 
de. Es ware hierbei moglich mit der Modifikation des Erken- 
ner-Timeout s bereits nach der ersten Aufierung des Systemnut- 
zers zu beginnen, was die Effizienz des Systems weiter stei- 
gern wurde. 

15 Eine weitere Ef f izienzsteigerung des Sprachdialogsystems 

lasst sich dadurch erzielen, dass dieses Barge-In fahig ges- 
taltet wird. Barge- In erlaubt es dem Systemnutzer, die 
Sprachauf forderungen eines Sprachdialogsystems durch eine ei- 
gene sprachliche Eingabe abzubrechen. Bei einer solchen 

2 0 sprachlichen Eingabe kann es sich zum einen urn die vorzeitige '"' 
Eingabe der votn System erwarteten AuSerung handeln, oder aber 
urn andere den Sprachdialog beeinf lussende Angaben. Durch die- 
se sprachliche Eingabe wird die weitere Ausgabe der Sprach- 
auf f orderung unterbrochen. Dies bietet den Vorteil einer ef- 

25 fizienteren Interaktion mit dem System, indem der Sprachdia- 
log dadurch beschleunigt wird, dass der Systemnutzer Sprach- 
auf forderungen unterbrechen und stoppen kann. Hierdurch wird 
die Moglichkeit geschaffen, dass insbesondere ein erfahrener 
Systemnutzer, welcher bei einem Dialogschritt Hilf estellung 

30 benotigt, die ' detaillierte Sprachausgabe bereits zu dem Zeit- 
punkt abbrechen kann, zu welchem er die fur die nachfolgende 
SprachauEerung notwendigen Hinweise erhalten hat. 

In besonders vorteilhaf ter Weise wird durch die Erf indung ein 
Sprachdialogsystem geschaffen, welches dynamisch und schnell 
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auf das aktuelle Bedienverhalten eines Systemnutzers reagie- 
ren kann. 1st Systernnutzer rait dem Dialogsystem vertraut, so 
erlaubt das Verfahren eine effiziente Interaktion, da sofort 
nach der verkurzten Sprachauf f orderung (Initiierungs signal) 
5 eine SprachauSerung getatigt werden kann. Treten dagegen 

Schwierigkeiten in Bezug auf die zu tatigende SprachauSerung 
auf, so reagiert das Sprachdialogsystem entsprechend, indem 
es eine unterstiitzende Sprachauf f orderung ausgibt. Dabei ist 
durch der Sprachdialog durch das erf inderische Verfahren 

10 gleichzeitig so flexibel ausgelegt, dass falls es zu Schwie- 
rigkeiten bei einem der Dialogschritte kommt, dies keine Aus- 
wirkungen auf die Reaktionsf ahigkeit bei den nachf olgenden 
Schritten hat. Hat ein Systernnutzer beispielsweise nur des- 
halb Schwierigkeiten mit der abzugebenden SprachauSerung, da 

15 er gerade abgelenkt war, so wird ihm eine unterstiitzende 

Sprachauf f orderung prasentiert, auf die er antworten kann. 
Bei dem nachsten Dialogschritt 'hat er jedoch wieder die Mog- 
lichkeit, sich sofort 'nach der verkurzten Sprachauf f orderung 
(Initiierungssignal) zu auSern und somit den kurzeren und ef- 

2 0 fizienteren Weg durch den Sprachdialog zu wahlen. 
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Pat ent anspruche 



5 1. Verfahren fur eine nut zer adaptive Dialogf uhrung fur ein 
Sprachdialogsystem, . 

bei welchem durch das Sprachdialogsystem eine Sprachauf - 
forderung ausgegeben wird, 

wobei hierauf das Sprachdialogsystem auf eine AuSerung 
10 durch den Systemnutzer wartet, wobei hierzu, um die Nut- 

zerauSerung zu verstehen, ein Spracherkenner aktiviert 
wird, 

wobei das System unerfahrene und erfahrene Nutzer unter- 
scheidet und es unerfahrenen Nutzern eine detaillierte 
15 Sprachauf forderung ausgibt, wahrend bei erfahrenen Nut- 

zern eine verkurzte Sprachauf forderung verwendet, 

dadurch gekennzeichnet, 
dass von Seiten des Sprachdialogsys terns ein Dialogschritt 
mit einer verkurzten Sprachauf forderung initialisiert 
20 wird, 

worauf bei Ausbleib'en einer AuSerung des Systemnutzer auf 
die verkurzte Sprachauf forderung nach einer bestimmten 
Zeit (Erkenner- Timeout) eine detaillierte Sprachauf forde- 
rung ausgegeben wird. 



25 
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2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, 

dass die verkurzte Sprachauf f orderung in Form eines kur- 

zen akustischen Signals (Piepston) erfolgt. 

5 

3 - Verfahren nach einem der Anspruche 1 oder 2 , 

dadurch gekennzeichnet, 
dass dann, wenn sich der Systemnutzer wiederholt nicht 
auf die verkiirzte Sprachauf f orderung aufiert , die Zeit- 
10 sparine fur den Erkenner-Timeout , nach welchem eine de- 

taillierte Sprachausgabe erfolgt, verkurzt wird. 

4 , Verfahren nach Anspruch 3 , 

dadurch gekennzeichnet, 
dass die Verkurzung der Zeitspanne fur den Erkenner- 
15 Timeout mit zunehmender Anzahl von nicht erfolgt en Au£e- 

rungen auf die verkurzte Sprachauf f orderung in mehreren 
Stufen erfolgt. 

5. Verfahren nach Anspruch 3 oder 4, 
dadurch gekennzeichnet, 

20 dass dann, wenn sich der Systemnutzer bereits auf die 

verkurzte Sprachauf f orderung hin meldet, die Zeitspanne 
fur den Erkenner-Timeout, verlangert wird, 

6. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

25 dass das Sprachdialogsystem so ausgestaltet wird, dass es 

dem Systemnutzer moglich ist durch vorzeitige Eingabe von 
SprachauSerung (Barge-In) die Ausgabe der Sprachauf f orde- 
rung zu unterbrechen. ' 
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